¡Luces, cámara, a jugar! Videojuegos basados en películas y películas basadas en videojuegos: particularidades de la localización en diferentes escenarios

El cine llegó a nuestras vidas hace más de cien años, cuando en 1895 los hermanos Lumière proyectaron la primera película de la historia en la Ciudad de la Luz. Los videojuegos tardaron un poco más en hacer su aparición estelar. No fue hasta 1958 cuando el primer videojuego considerado como tal fue desarrollado en Estados Unidos por el físico William Higinbotham. Se trataba del conocido juego de Tennis for two, que básicamente consistía en un cúmulo de píxeles que formaban dos palitos y una bolita y cuyo mecanismo era muy similar al del tenis. No obstante, a día de hoy tras décadas y décadas de desarrollo tecnológico tanto las películas como los videojuegos no tienen nada que ver con lo que algún día ambos fueron. Si bien es cierto que los videojuegos comenzaron siendo algo más parecido a un juego de mesa debido a su sencillez, los desarrolladores no tardaron en fijarse en su hermano mayor el cine para buscar inspiración y un modelo a seguir. Y con esta tendencia que comenzó con los primeros videojuegos de las nuevas y más potentes generaciones (que comenzaron con PlayStation), a día de hoy vemos que los videojuegos cada vez más parecen unas películas interactivas que en muchas ocasiones no tienen nada que envidiar al cine. En este artículo hablaremos de las particularidades de la localización de videojuegos cuando estos están basados en películas de cine o viceversa, películas de cine basadas en videojuegos. Veremos cómo esta relación entre los dos productos audiovisuales afecta también a la parte de la traducción y cuáles son los escenarios más comunes

(Sub)titles in cinematic virtual reality : a descriptive study

Virtual reality has attracted the attention of industry and researchers. Its applications for entertainment and audiovisual content creation are endless. Filmmakers are experimenting with different techniques to create immersive stories. Also, subtitle creators and researchers are finding new ways to implement (sub)titles in this new medium. In this article, the state-of-the-art of cinematic virtual reality content is presented and the current challenges faced by filmmakers when dealing with this medium and the impact of immersive content on subtitling practices are discussed. Moreover, the different studies on subtitles in 360º videos carried out so far and the obtained results are reviewed. Finally, the results of a corpus analysis are presented in order to illustrate the current subtitle practices by The New York Times and the BBC. The results have shed some light on issues such as position, innovative graphic strategies or the different functions, challenging current subtitling standard practices in 2D conten

Subtitles in virtual reality : guidelines for the integration of subtitles in 360º content

Immersive content has become a popular medium for storytelling. This type of content is typically accessed via a head-mounted visual display within which the viewer is located at the center of the action with the freedom to look around and explore the scene. The criteria for subtitle position for immersive media still need to be defined. Guiding mechanisms are necessary for circumstances in which the speakers are not visible and viewers, lacking an audio cue, require visual information to guide them through the virtual scene. The aim of this reception study is to compare different subtitling strategies: always-visible position to fixed-position and arrows to radar. To do this, feedback on preferences, immersion (using the ipq questionnaire) and head movements was gathered from 40 participants (20 hearing and 20 hard of hearing). Results show that always-visible subtitles with arrows are the preferred option. Always-visible and arrows achieved higher scores in the ipq questionnaire than fixed-position and radar. Head-movement patterns show that participants move more freely when the subtitles are always-visible than when they are in a fixed position, meaning that with always-visible subtitles the experience is more realistic, because the viewers do not feel constrained by the implementation of subtitlesLos contenidos inmersivos se han convertido en un medio interesante para contar historias. A este tipo de contenido normalmente se accede con unas gafas de realidad virtual, a través de las cuales el usuario, que se encuentra en el centro de la acción, tiene la libertad de mirar y explorar la escena libremente. Los criterios para determinar la posición de los subtítulos en contenidos inmersivos todavía no se han definido. También se necesitan mecanismos de guía para indicar dónde está la persona que habla cuando está fuera del campo de visión y los usuarios no pueden contar con el audio para guiarse. El objetivo de este estudio de recepción es comparar diferentes estrategias de subtitulación: subtítulos siempre visibles con subtítulos colocados en posiciones fijas, y flechas con radar. Para ello, se han recopilado los comentarios de 40 participantes (20 oyentes y 20 con pérdida auditiva) sobre las preferencias, la inmersión (con el cuestionario ipq) y los patrones de movimiento de cabeza. Los resultados muestran que los subtítulos siempre visibles con flechas son la opción preferida. Además, estas soluciones obtuvieron mejores puntuaciones en el cuestionario ipq. Los patrones de movimientos de cabeza muestran que los participantes se movían más libremente con los subtítulos siempre visibles, lo que supone que con este tipo de subtítulos la experiencia es más realista ya que los usuarios no se sienten cohibidos por la integración de los subtítulosLes contenus immersifs sont devenus un moyen intéressant de raconter des histoires. Ce type de contenu est généralement accessible avec des lunettes de réalité virtuelle, avec lesquelles l'utilisateur est au coeur de l'action et à la liberté de regarder et d'explorer la scène librement. Les critères pour définir la position des sous-titres dans ce contenu n'a pas encore été définie. Des mécanismes de guidage sont également nécessaires pour indiquer où se trouve le locuteur lorsqu'il est hors du champ de vision et que les utilisateurs ne peuvent pas se fier à l'audio pour être guidés. L'objectif de cette étude de réception est de comparer différentes stratégies de sous-titrage : des sous-titres toujours visibles avec des sous-titres placés à des positions fixes et des flèches avec le radar. À cet égard, les commentaires de 40 participants (20 auditeurs et 20 malentendants) ont été recueillis sur les préférences, l'immersion (avec le questionnaire ipq) et les schémas de mouvements de la tête. Les résultats montrent que les sous-titres qui sont toujours visibles avec des flèches sont l'option préférée. En outre, ces solutions ont obtenu de meilleurs résultats dans le questionnaire ipq. Les modèles de mouvements de la tête montrent que les participants se sont déplacés plus librement avec les sous-titres toujours visibles, ce qui signifie qu'avec ce type de sous-titres, l'expérience est plus réaliste car les utilisateurs ne sont pas gênés par l'intégration des sous-titre

SDH in immersive environments : can subtitles be immersive at all?

Immersive environments have been emerging for the past few years and their potential for transforming how entertainment is consumed has raised the interest of the industry and the audience. Many powerful technology companies like Microsoft, Sony, Facebook or HTC are investing in devices such as Microsoft Hololens, PlayStation VR, Oculus Rift or HTC Vive. Also, in recent years we have witnessed an explosion of 360º content (videos, movies, documentaries, news, etc.) that can be easily accessed through basically any smartphone. However, immersive contents, such as 360º videos or virtual reality video games, pose a challenge for Audiovisual Translation, and even a harder one for Media Accessibility. How can we make immersive contents accessible for everyone and, specifically, for persons with hearing loss? Some filmmakers say that audiences will need to learn a new visual grammar or language to understand how stories in immersive environments are built, as it happened when cuts were introduced in film editing. The same will happen with subtitling in immersive contents. We will need to relearn how to read subtitles, since new dimensions are brought by immersive media, such as directions or three-dimensional space. These new dimensions and the freedom of movement attached to virtual worlds present challenges for users who cannot make use of the audio. If some users are lacking the audio cue, how will they know if someone is speaking at their back or if a sound used as an action trigger is sounding in a different location so that they know they have to turn their head? Can subtitles be used to draw attention to the focus of action? In this presentation, we will review the nature of immersive contents and explain the challenges of implementing subtitles for the deaf and hard-of-hearing (SDH) in 360º videos. Basic subtitling topics such as placement of the subtitles or new features such as speaker identification systems are tricky questions. Some researchers have already raised this issue (Agulló 2018, Brown et al 2018, Fraile et al 2018, Montagud et al 2018, Rothe et al 2018). Regarding placement, different solutions have been suggested, but mainly they can be summed up with two key concepts: dynamic subtitles and static subtitles (or "evenly spaced subtitles" and "following head immediately" subtitles, depending on the terminology used). Basically, dynamic subtitles are those burnt in the video in one or different specific positions. Static subtitles, however, are those linked to the audience field of view and move with the viewers "following their heads immediately" (Brown et al 2018) everywhere they go. The latter implementation is more similar to the integration of traditional subtitles in 2D environments, while the former is more similar to innovative subtitling practices such as creative (Foerster 2010, McClarty 2012, 2014) or integrated subtitles (Fox 2016a, 2016b). As for speaker identification systems, this is a completely new feature for SDH in immersive media. A mechanism needs to be designed to indicate the audience where the speakers are located in the 360º environment, so that they don't miss the action. Very few researchers have tackled this topic (Rothe et al 2017) and the discussion about which methods are better is still open and will be presented during the session. Also, to illustrate the discussion, we will analyse some examples obtained from a corpus of selected 360º videos. Finally, we will propose a set of features that are worth researching to achieve immersive and integrated subtitles in this new medium, based on criteria of accessibility, immersion and usabilit

Making immersive environments accessible for deaf and hard-of-hearing users

Immersive media such as virtual reality or 360º contents are increasingly present in our society. However, immersive content is not always accessible to all, and research within the field of AudiovisualTranslation and Media Accessibility is needed on how to cater for the needs of diverse users. In this paper, the speaker will briefly present a state-of-the-art on the immersive technologies (virtual reality and 360º videos) to be researched within this PhD study, as well as its current application to media. Then, an overview on subtitles for the deaf and hard-of-hearing in immersive environments will be given, including challenges and possible solutions. Finally, the results from a focus group developed in relation to the European project ImAc(Immersive Accessibility) will be presented. In this focus group, deaf and hard-of-hearing users were asked about their recommendations and expectations on how subtitling in 360º video content could be offered

Technology for subtitling: a 360-degree turn

Subtitling has become one of the most important audiovisual translation modes and cannot be understood outside the context of the technology that makes it possible. New audiovisual media are appearing, such as 360º videos, and the necessity of subtitling this type of content to make it accessible is emerging. In this article, an updated review of current subtitling technology is presented to contextualise the study. Then, a review of main immersive environments (3D, augmented reality and virtual reality) and their implications for subtitling has also been introduced. The focus of the study is on virtual reality and, therefore, the main challenges of subtitling 360º content are presented. To respond to the needs of subtitling this type of content, a first version of a subtitle editor has been developed and presented to twenty-seven professional subtitlers who have tested the tool and reported the correspondent feedback on usability and preferences. This study has proven the importance of carrying out usability tests with end users when developing specific software, as well as the challenges faced by subtitlers in new audiovisual media such as 360º content.La subtitulación se ha convertido en uno de los modos de la traducción audiovisual más importantes y no puede estudiarse fuera del contexto tecnológico que la hace posible. Asimismo, nuevos medios audiovisuales, como los vídeos de 360º, están emergiendo y la necesidad de subtitular este tipo de contenidos para hacerlos accesibles es evidente. En este artículo se presenta una revisión de la tecnología de subtitulación existente para contextualizar el estudio. A continuación, se presenta una revisión de los principales entornos inmersivos (3D, realidad aumentada y realidad virtual) y sus implicaciones para la subtitulación. El estudio se centra en la realidad virtual y, por lo tanto, se presentan los principales retos de la subtitulación de contenidos en 360º. Para responder a las necesidades de subtitulación de este tipo de vídeos, se ha desarrollado una primera versión de un editor de subtítulos que se ha presentado a veintisiete subtituladores profesionales que han probado la herramienta y aportado sus opiniones y sugerencias. En este estudio se ha demostrado la importancia de realizar pruebas de usabilidad con los usuarios finales a la hora de desarrollar software específico, así como los retos a los que se enfrentan los subtituladores en nuevos medios audiovisuales como los contenidos 360º

Nuevos retos para la TAV : subtitulación en medios inmersivos. Resultados de un análisis de corpus

Los medios inmersivos tales como la realidad virtual, los vídeos en 360 grados o la realidad aumentada están cada vez más presentes en nuestra sociedad. Las aplicaciones de dichas tecnologías son diversas: desde la medicina, pasando por la educación, la ingeniería hasta su aplicación en los medios audiovisuales. Los medios audiovisuales y de comunicación suelen ir a la vanguardia al introducir nuevas tecnologías y medios en sus canales. Según un informe de la European Broadcasting Union, el 49% de sus miembros está empezado a explorar y desarrollar contenidos en formato de vídeos en 360 grados (EBU, 2017). De acuerdo con la BBC, 'los vídeos en 360º o vídeos omnidireccionales se pueden considerar contenidos inmersivos: reproducen imágenes altamente realistas grabadas con equipos de cámaras especiales que representan una realidad en la que los usuarios se erigen como observadores y carecen de la capacidad de interactuar' (BBC, 2014). Instituciones como BBC o The New York Times han incorporado nuevas tecnologías para desarrollar vídeos en 360 grados. Este formato posee el potencial de recrear experiencias inmersivas en situaciones de guerra o de desastres naturales o humanitarios, lo cual consigue causar un mayor impacto en la audiencia. Es lo que se conoce como «periodismo inmersivo» (De la Peña et al. 2010). Aunque en menor medida, también encontramos la aplicación de vídeos en 360º en productos de ficción. En España, TVE realizó dos capítulos de la serie El Ministerio del Tiempo. Otros productores como Jaunt VR están desarrollando contenidos de ficción para su plataforma. El desarrollo y presencia de este nuevo formato en los medios audiovisuales supone un reto para la traducción audiovisual. En esta presentación, nos centraremos específicamente en las características de los subtítulos en medios inmersivos. Poco se ha profundizado en el estudio de los subtítulos en medios inmersivos. Recientemente, la BBC ha redactado un libro blanco donde proponen una serie de directrices para elaborar subtítulos para vídeos en 360º, a raíz de unos estudios de recepción que llevaron a cabo (BBC, 2018). Para ampliar y complementar los resultados de este estudio llevado a cabo por la BBC, se necesitarán más estudios de recepción en el campo de la TAV. Con el fin de definir las características de los subtítulos en este nuevo medio, hemos analizado un corpus de 571 vídeos extraídos de los canales de BBC y The New York Times. En esta presentación, se incluirán parte de los resultados que engloban los siguientes puntos: 1) porcentaje de vídeos que hacen uso de subtítulos o texto en pantalla en vídeos en 360 grados en los videos de estas plataformas; 2) definición de las funciones más habituales de los subtítulos y texto en pantalla en los vídeos de estas plataformas; y 3) definición de los diferentes tipos de posicionamiento de los subtítulos en los vídeos de estas plataformas. En esta presentación, hablaremos además sobre cómo afecta este nuevo medio a los subtítulos y las implicaciones que tiene para su traducción en comparación con la subtitulación en medios 2D

The challenge of implementing SDH in immersive media : a reception study

The potential of immersive media such as virtual reality or 360º videos for entertainment and audiovisual industries is becoming more and more clear. This will transform how audience consume audiovisual contents. Leading technology companies such as Microsoft, Sony, Facebook or HTC are already developing devices to enhance the consumption of immersive content. Important broadcasters such as The New York Times or the BBC have been leading the creation of cinematic virtual reality content to share life stories, news, documentaries or drama contents. All the content can be easily accessed with a smartphone and an HMD, or simply with a browser in a PC. However, this content is not accessible to all potential viewers yet. Implementing mainstream access services in audiovisual content such as subtitling for the deaf and the hard-of-hearing is a challenge. One of the main challenges faced by content creators and directors in this new medium is the freedom that the viewers have in this scenario. They can look around the 360º video, so the director is not in charge of framing the scene anymore. This poses a challenge to implement subtitles, because there is no defined frame and, therefore, positioning the subtitles in the dynamic 360º world is not a straightforward task anymore. Also, a spatial dimension is introduced in this medium, generating a new need for accessible subtitles: indicating where the speaker is or where the sounds come from. This is especially relevant for subtitles for the deaf and hard-of-hearing, because the audio cue is missing. After a thorough literature and state-of-the-art review on this topic and different tests, different options have been developed and tested with end users (both deaf and hearing participants). In this reception study, two main areas have been tested: position of the subtitles and guiding mechanisms. For the first part, two different implementations for positioning subtitles in 360º content have been tested: 1) always-visible -the subtitles are anchored to the viewer's field of view (FoV), always in the same bottom center position, regardless of where the user is looking at within the 360º; and 2) fixed-positioned -the subtitles are anchored to the 360º video, being rendered in three fixed positions, evenly spaced every 120º around the 360º sphere. For the second part, two different guiding mechanisms have been tested: 1) arrow -an arrow is displayed next to the subtitle to indicate the viewers where they need to look at to find the target speaker; the arrow is only visible when the speaker is outside the FoV; and 2) radar - a radar is displayed close to the subtitles all the time, indicating the position of the different speakers. In this paper, the different options and the results will be presented and discusse

3D Movie Subtitling : Searching for the best viewing experience

Subtitles these days have taken a new function beyond translating or transcribing dialogues. New technological development allows for placing subtitles, as texts, in any region of the screen, also for subtitles to become an integrated part of the narrative. Different terms have been used to label the new subtitles, their function and effect. Some authors use the term "dynamic subtitles" and they fnd through testing end users that subtitles have "the potential to make the overall viewing experience less disjointed and more immersive" (Brown et al 2015). O'Sullivan comments on this on-screen text type of the play between the diegetic and extra-diegetic: subtitles function as an "extreme anti-naturalistic device" (o'Sullivan 2011: 166). Commenting on the limits and nature of subtitling itself Luis Pérez-González points at a higher audience attraction "that shapes audience engagement by commenting upon the diegetic action and disrupting conventional forms of semiotic representation, making viewers consciously work as co-creators of media content" (Pérez-González 2012: 18). Finally, Dwyer through eye-tracking methodology challenges "that screen media is made to be viewed, not read" (Dwyer 2015). All these authors point at one issue: a change of viewing tradition and user involvement regarding subtitles. Not only subtitles are more engaging, media content is trying to maintain audience and gain new audiences through higher emotional interaction. 3D has been for over a century a format aiming at offering a more real environment where action develops. This article looks at subtitles accompanying 3D media, again a new subtitle opportunity to play with the narrative and the viewer interaction and engagement. The frst part of the article revises the different ways to create 3D images. This is important to understand the second part of the article, when some 3D subtitled movies and videogames are analysed from a descriptive approach. The article concludes with the need to research from a user-centric perspective subtitle production to achieve the best viewing experienc

Subtitling for the deaf and hard-of-hearing in immersive environments : results from a focus group

Immersive media such as virtual reality or 360º content is increasingly present in our society. However, immersive content is not always accessible to all, and research is needed on how to cater for the needs of different kinds of users. This article will review the current situation of immersive technologies and their applications in media. Also, research studies carried out so far concerning subtitling and SDH in immersive media will be discussed, as well as current implementation of subtitles in immersive content, such as VR video games or 360º videos. Finally, the results from a focus group carried out in Spain with deaf and hard-of-hearing users, as well as professional subtitlers, on how to subtitle 360º video content will be presented. The results from the focus group shed light on how to address the new implications brought by immersive media in regard to subtitling. Some of the main areas discussed in the results are: subtitle position, contrast considerations for a correct reading, and how to indicate the location of the speakers, among others. Also, results show that users are willing to accept the implementation of new features in SDH in immersive content, such as icons for non-speech information or improvements to current standard